台湾专利TW201303582A 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體

专利PDF首页>>台湾专利

专利附录

专利说明

权利要求

类似技术

同族专利

引用文献

法律状态

优先权

专利摘要:
一種以雲端技術為基礎之測試系統，應用數個雲端系統進行測試。每一雲端系統包含數個雲端伺服器以提供一雲端資源，並藉由雲端資源虛擬出數個測試虛擬機器。該測試系統包含數個次要伺服器以及一主伺服器。每一次要伺服器分別與雲端系統中對應者之雲端伺服器建立連結，以控制測試虛擬機器。主伺服器之處理元件接收一客戶端之一測試指令，並產生對應的一測試環境條件。處理元件根據測試指令和測試虛擬機器表，以決定執行目標測試項目之測試虛擬機器。處理元件傳送測試指令及其對應的測試環境條件至控制執行之測試虛擬機器之次要伺服器。
公开号:TW201303582A
申请号:TW100124798
申请日:2011-07-13
公开日:2013-01-16
发明作者:Shiang-Jiun Chen；Shang-Lun Chiang；Han-Chao Lee
申请人:Inst Information Industry；
IPC主号:H04L41-00

专利说明:
以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
本發明是有關於一種測試系統、方法以及其電腦可讀取記錄媒體，且特別是有關於一種以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體。
隨著資訊科技的高度發展，電腦硬體裝置的應用也愈趨普及。無論是電腦相關的硬體裝置、系統、或應用軟體，在開發完成之後，都需要進行各式各樣的測試，以了解硬體裝置/系統/應用軟體是否在各種狀況下功能是否正常運作及其效能如何等。
電腦硬體裝置，例如使螢幕顯示資料之顯示卡、使電腦發出聲音之音效卡及連結網路之網路卡等，對整體運作均有其意義。如果沒有顯示卡則螢幕無法顯示，如果沒有網路卡則電腦主機就無法連結上網際網路。一般在測試網路卡時，會先啟用網路卡，然後確認主機是否能夠連結上網際網路，以及連結上網路所耗費的時間，來驗證網路卡的功能以及效能。又例如，在進行電腦硬體裝置功能的壓力測試時，亦可藉由多台實體電腦，同時經由網路對待測裝置執行測試項目，以測試此待測裝置是否可承受多台實體電腦同時連線並執行測試項目。
然而，目前技術中，藉由多台實體電腦進行測試所需之實體電腦，必須自行建置，硬體建置成本較高。為了能降低硬體建置成本，所建置用來進行測試之實體電腦的數量就有限制，通常採用一台實體電腦模擬多台電腦的狀況來進行測試，因此無法反應出真實狀況，致使測試的結果有失真問題。
因此，本發明之一態樣是在提供一種以雲端技術為基礎之測試系統，應用複數個雲端系統進行測試。其中，每一雲端系統包含複數個雲端伺服器以提供一雲端資源，並藉由該雲端資源虛擬出複數個測試虛擬機器，且該測試系統包含複數個次要伺服器以及一主伺服器。每一次要伺服器分別對應該些雲端系統中之一，且與對應雲端系統之該些雲端伺服器建立連結，以控制其所虛擬出的該些測試虛擬機器。主伺服器通訊連接該些次要伺服器，其包含一儲存元件以及一處理元件。儲存元件儲存一測試虛擬機器表。該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊。其中，該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。處理元件電性連接該儲存元件，包含一指令接收模組、一決定模組和一指令傳送模組。指令接收模組用以接收一客戶端之一測試指令，並產生對應的一測試環境條件，其中，該測試指令係對一目標電子裝置執行一目標測試項目；決定模組根據該測試指令和該測試虛擬機器表，以決定執行該目標測試項目之測試虛擬機器，進而取得控制該執行之測試虛擬機器之該次要伺服器資訊；而指令傳送模組傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器，藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件，控制該些執行目標測試項目之測試虛擬機器，對該目標電子裝置執行該目標測試項目。
本發明之另一態樣是在提供一種以雲端技術為基礎之測試方法，應用一以雲端技術為基礎之測試系統以及複數個雲端系統進行測試。其中，每一雲端系統包含複數個雲端伺服器以提供一雲端資源，並藉由該雲端資源虛擬出複數個測試虛擬機器。該測試系統包含複數個次要伺服器以及一主伺服器。該些次要伺服器中每一次要伺服器分別對應該些雲端系統中之一，與對應雲端系統之該些雲端伺服器建立連結，以控制其所虛擬出的該些測試虛擬機器。該主伺服器儲存一測試虛擬機器表，該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊，該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。以雲端技術為基礎之測試方法包含：藉由該主伺服器自一客戶端接收一測試指令，並產生對應的一測試環境條件，其中該測試指令係對一目標電子裝置執行一目標測試項目；使該主伺服器根據該測試指令和該測試虛擬機器表，以決定執行該目標測試項目之測試虛擬機器，進而取得控制該執行之測試虛擬機器之該次要伺服器資訊；以及，使該主伺服器傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器，藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件，控制該些執行目標測試項目之測試虛擬機器，對該目標電子裝置執行該目標測試項目。
本發明之另一態樣是在提供一種電腦可讀取記錄媒體，儲存一電腦程式，用以執行上述以雲端技術為基礎之測試方法。方法步驟流程如上所述，在此不再重複贅述。
應用本發明具有下列優點。可藉由多個雲端系統所提供的測試虛擬機器，模擬多台實體機器以對目標電子裝置進行測試。由於測試虛擬機器係由不同雲端系統中的多台雲端伺服器所提供之雲端資源所虛擬，不同的雲端系統可以提供不同可執行測試項目，也可配置不同數量的測試虛擬機器，使得測試系統資源進行測試時可以更加有彈性地分配資源，並有效率地完成測試。更進一步時，不同的雲端系統可能有不同的收費條件，也具有不同的安全性能，不同的客戶可依據自身的需求，來選擇符合適當的雲端系統來進行測試。
以下將以圖式及詳細說明清楚說明本發明之精神，任何所屬技術領域中具有通常知識者在瞭解本發明之較佳實施例後，當可由本發明所教示之技術，加以改變及修飾，其並不脫離本發明之精神與範圍。
請參照第1圖，其繪示依照本發明一實施方式的一種以雲端技術為基礎之測試系統之功能方塊圖。以雲端技術為基礎之測試系統，應用複數個雲端系統(100、200)進行測試，其中每一雲端系統包含複數個雲端伺服器(如103、104、203、204等)提供雲端資源，並藉由雲端資源虛擬出數個測試虛擬機器，以對目標電子裝置執行目標測試項目。
以雲端技術為基礎之測試系統應用數個雲端系統100、200進行測試。其中，雲端系統100包含數個雲端伺服器103、104以提供一雲端資源，並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統200亦包含數個雲端伺服器203、204亦提供一雲端資源，並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統100、200所虛擬出之各測試虛擬機器所能執行之測試項目可能不同、可能部份相同、也可能全部相同。然而，在其他實施例中，本案測試系統可依需求鏈結至不同數量之雲端系統，各雲端系統也可各自配置不同數量之雲端伺服器，並不限於上述所揭露之數量。
以雲端技術為基礎之測試系統包含數個次要伺服器601、602以及一主伺服器300。主伺服器300經由通訊網路(如網際網路402)以通訊連接到次要伺服器601、602。主伺服器300可以設置在上述複數個雲端系統100、200中的其中之一、或是設置在另一雲端系統中、或是非雲端系統中的一獨立設備。次要伺服器601與其對應之雲端系統100的雲端伺服器103、104建立連結，以控制雲端系統100所虛擬出之測試虛擬機器。次要伺服器602與其對應之雲端系統200的雲端伺服器203、204建立連結，以控制雲端系統200所虛擬出之測試虛擬機器。次要伺服器可以分別設置在其對應的雲端系統中，或是設置在其他雲端系統中，或是非雲端系統中的獨立設備。
主伺服器300包含一儲存元件310以及一處理元件320。儲存元件310儲存一測試虛擬機器表。測試虛擬機器表記錄測試虛擬機器之資訊。測試虛擬機器之資訊包含測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。此外，所記錄之測試虛擬機器的資訊更進一步可包括，測試虛擬機器(亦即雲端系統、雲端伺服器)的所在地(實際地理位置)、測試虛擬機器執行測試的效率資訊(例如先前完成測試所需的時間、等待回應的間隔時間)、各雲端系統的使用費用資訊、以及各雲端系統的安全性等級資訊等。
處理元件320包含一指令接收模組321、一決定模組322以及一指令傳送模組323。指令接收模組321用以透過網際網路402，接收一客戶端401之一測試指令，並產生對應的一測試環境條件。其中，測試指令係用以對一目標電子裝置403(例如電腦、伺服器、行動裝置、PDA、或各種電子機器設備等)執行一目標測試項目(例如功能正常性測試、安全測試、同步性測試、壓力測試......等)。客戶端401可經由一操作介面來編輯、或是傳送測試指令到指令接收模組321，以進行不同之測試。例如，處理元件320可透過網際網路402提供一網頁介面，或者客戶端401可安裝特定的應用程式或操作介面，供客戶端401進行操作以編輯產生測試指令。所產生之測試環境條件係指執行測試時，主伺服器300和次要伺服器601、602及其測試虛擬機器之間進行通訊或溝通的相關設定，例如傳送資料的格式、頻率、方式、使用系統等。更進一步時，測試指令中可包括客戶端401所指定進行測試之雲端系統/雲端伺服器的所在地(如實際地理位置、所屬國別/區域別、所在經緯度等)和測試虛擬機器執行測試的效率資訊。
決定模組322根據測試指令和測試虛擬機器表，以決定執行目標測試項目之測試虛擬機器，進而取得用以控制執行目標測試項目測試虛擬機器之次要伺服器的資訊。例如，根據測試指令可知道客戶端401所欲進行的目標測試項目，需要多少測試虛擬機器來進行測試；根據測試虛擬機器表可知道各測試虛擬機器可進行哪些測試項目，以及目前哪些測試虛擬機器可進行測試，決定模組322進行資訊比對判斷之後，即可決定由哪些測試虛擬機器來執行目標測試項目。根據各次要伺服器601、602和雲端系統100、200/測試虛擬機器的對應關係，可取得執行目標測試項目測試虛擬機器的次要伺服器資訊，亦即，可知道是由那些次要伺服器，來控制被決定的測試虛擬機器，以執行目標測試項目。
指令傳送模組323傳送測試指令及其對應的測試環境條件至控制執行目標測試項目之測試虛擬機器之次要伺服器。因此，控制執行目標測試項目之測試虛擬機器之次要伺服器依據測試環境條件，控制執行目標測試項目之測試虛擬機器，對目標電子裝置403執行目標測試項目，如此一來，可藉由不同雲端系統中的多個測試虛擬機器，模擬多台實體機器對目標電子裝置403進行測試，此外，由於測試虛擬機器係由多台雲端伺服器所提供之雲端資源所虛擬，因此測試虛擬機器之數量將不會受限於單一雲端系統(如有限之運算資源或有限之連線頻寬)，其資源的應用更加有彈性。且經由不同雲端系統之測試虛擬機器來進行測試，將應用到不同的雲端伺服器、網路連線及實際環境，和習知之使用少數測試設備模擬多台測試設備。經由同一網路連線及重複進行測試的技術相較之下，可更貼近的模擬出藉由多台不同實體機器進行測試之狀況。
此外，在沒有足夠的目前虛擬機器執行測試時，本發明更進一步，可使得能夠執行目標測試項目的雲端系統釋放雲端資源，以新增虛擬機器之數量。因此，決定模組322更可判斷次要伺服器601、602所控制之可執行目標測試項目及其目前可執行測試之測試虛擬機器之數量是否大於目標測試項目所需之數量。當不大於時，次要伺服器601、602分別驅動所連結之雲端伺服器103、104、203、204，釋放雲端資源中一可釋放資源，利用可釋放資源新增數個新增虛擬機器，作為新增的測試虛擬機器，以進行目標測試。如此一來，各雲端系統中可不需事先虛擬出大量的測試虛擬機器，以節省雲端系統的資源，當有需要時，再藉由可執行目標測試項目的雲端系統釋放可釋放資源，例如其他使用者在當時可中斷、暫停或停止使用之測試虛擬機器，以釋放出其CPU、記憶體、儲存媒體......等，以增加可供使用之測試虛擬機器之數量，將可使雲端系統的資源應用更有彈性。
另外，在另一實施例中，當欲執行測試卻沒有足夠的測試虛擬機器可執行測試時，亦可藉由各雲端系統的可用資源，例如目前尚未被使用到的CPU、記憶體以及儲存媒體，來新增測試虛擬機器之數量。因此，決定模組322更可判斷次要伺服器601、602所控制之可執行目標測試項目及其目前可執行測試之測試虛擬機器之數量，是否大於目標測試項目所需之數量。當不大於時，次要伺服器601、602分別利用其可控制之雲端資源中一可用資源，新增數個新增虛擬機器，作為測試虛擬機器。如此一來，可藉由各雲端系統目前可用資源，增加測試虛擬機器之數量。
主伺服器300更可包含一範本資料庫，用以儲存數筆預設測試指令之範本。於是，客戶端401之使用者可選用、修改或組合主伺服器300之範本資料庫中的範本，來編輯測試指令。使用者可依需求修改範本測試內容進行測試行為。更進一步時，本案系統若無法新增測試虛擬機器、或是在新增測試虛擬機器後，仍未有足夠之測試虛擬機器來執行目標測試項目時，可通知客戶端401之使用者目前可使用之測試虛擬機器之數量、或是何時有充足測試虛擬機器可執行目標測試項目。於是，客戶端401之使用者可根據上述通知，判斷是否修改測試指令或是執行測試之時間。此外，亦可根據各雲端系統可釋放資源或可用資源之數量(如目前可使用記憶體的多寡或處理元件之運算資源的多寡)，判斷是否可新增足夠之虛擬機器執行目標測試項目，作為是否進行上述通知之依據。
由於透過網際網路402進行測試時，與受測之目標電子裝置403之所在地點，將可能影響測試結果、測試所需時間、測試成本、測試穩定性或是安全性，而客戶端401對於不同地理位置之雲端系統亦可能會有安全性、費用等因素的考量。因此，決定模組322更可依據雲端伺服器103、104、203、204之所在地點，以及客戶端的測試指令中是否有對雲端系統提出限制條件等，來決定執行目標測試項目之測試虛擬機器。其中，雲端伺服器103、104、203、204之所在地點可以預先紀錄，或是依據雲端伺服器103、104、203、204之網際網路通訊協定(Internet Protocol，IP)位址來判斷。
此外，處理元件320更可包含一測試結果處理模組。測試結果處理模組自控制執行目標測試項目之測試虛擬機器之次要伺服器，取得執行目標測試項目之測試虛擬機器對目標電子裝置403執行目標測試項目之一測試結果，並將測試結果回傳至該主伺服器300並呈現於客戶端401。其中，測試結果處理模組可先將取得之測試結果儲存於儲存元件310，再傳送至客戶端401顯示。此外，在由多個次要伺服器所控制之測試虛擬機器進行測試時，測試結果處理模組325可自所選擇之各次要伺服器分別蒐集測試結果，並進行彙整或是產生一結果報告，再傳送至客戶端401顯示。另一實施方式，亦可由控制執行目標測試項目之測試虛擬機器之次要伺服器，自行從所控制之虛擬機器蒐集測試結果，主動回傳給主伺服器300的測試結果處理模組325。
此外，主伺服器300之處理元件320可經由通訊連接次要伺服器601、602，取得各次要伺服器601、602所控制之測試虛擬機器之資訊，予以紀錄並更新至存於儲存元件310之測試虛擬機器表。在本發明之一實施例中，處理元件320可定時更新儲存元件310中之測試虛擬機器表。在本發明之另一實施例中，主伺服器300之處理元件320可在次要伺服器601、602所控制之測試虛擬機器有異動時，即時更新儲存元件310中之測試虛擬機器表。在本發明之又一實施例中，主伺服器300之處理元件320可在接收到客戶端401的測試指令時進行更新，以取得各雲端系統100、200中的測試虛擬機器的最新狀態。在另一實施例中，處理元件320每隔一固定時間即和次要伺服器601、602進行通訊，以取得各測試虛擬機器目前是否可使用之資訊，或是各次要伺服器601、602每隔一固定時間主動傳送其所控制之測試虛擬機器目前是否可使用之資訊至處理元件320。
更進一步時，主伺服器300之儲存元件310，更可儲存測試系統的歷史測試資料，例如每一個客戶端以往在進行測試時所使用的測試指令、所使用到的虛擬測試機器數量、所用到虛擬測試機器的所在地、所使用的時間、或是所獲得的測試結果等。決定模組322更根據該歷史測試資料，計算測試系統整體所需的虛擬測試機器數量，以作為該些次要伺服器所控制之測試虛擬機器的總數量。計算測試系統整體所需的虛擬測試機器數量，其可以有多種方式，例如，根據以往所有客戶端的歷史測試資料，估算每一客戶端可能所需要的測試虛擬機器，然後加總合計以產生整體所需數量。又例如，依據系統在進行客戶端之測試的歷史測試資料，取得到測試系統出現過的最大測試虛擬機器使用量，作為整體所需數量。又例如，取得測試系統在一段時間內所使用到平均測試虛擬機器的使用量，作為整體所需數量。
在一較佳實施例中，本案之測試系統可事先估算和建置系統整體所需的虛擬測試機器數量，以使得複數個雲端系統中該些次要伺服器所控制之測試虛擬機器的總數量即為整體所需的虛擬測試機器數量，以縮短測試系統對客戶端的反應時間。更進一步時，決定模組322還可維持該些次要伺服器所控制之測試虛擬機器的總數量，並隨時保持在整體所需的虛擬測試機器數量。當某一客戶端進行測試時，可使用特定數量，且分別由不同的次要伺服器所控制之虛擬測試機器，例如經由次要伺服器601使用了30個虛擬測試機器，經由次要伺服器602使用了20個虛擬測試機器。當執行測試時，亦即上述共50個虛擬測試機器被啟用時，決定模組322則通知對應的次要伺服器601和602，分別補足被使用且同類型的測試虛擬機器30個和20個。當測試執行完畢，原被啟用的50個虛擬測試機器會被釋放出來，決定模組322可通知對應的次要伺服器601和602，分別刪除同類型的測試虛擬機器30個和20個。也就是說，測試系統會一直保持特定數量的虛擬機器。次要伺服器601和602在補足或是刪除測試虛擬機器時，可通知處理元件320，更新虛擬機器測試表，並儲存於儲存元件310中。
第2圖係繪示依照本發明一實施方式的一種以雲端技術為基礎之測試方法之流程圖。以雲端技術為基礎之測試方法藉由雲端伺服器所提供之雲端資源，虛擬出數個虛擬機器，以對目標電子裝置執行目標測試項目。以雲端技術為基礎之測試方法可實作為一電腦程式，並儲存於一電腦可讀取記錄媒體中，而使電腦讀取此記錄媒體後執行以雲端技術為基礎之測試方法。電腦可讀取記錄媒體可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之電腦可讀取記錄媒體。
同時參照第1圖以及第2圖。以雲端技術為基礎之測試方法500應用一以雲端技術為基礎之測試系統以及數個雲端系統100、200進行測試。其中，雲端系統100包含數個雲端伺服器103、104以提供一雲端資源，並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統200亦包含數個雲端伺服器203、204以提供一雲端資源，並藉由雲端資源虛擬出數個測試虛擬機器。雲端系統100、200所虛擬出之各測試虛擬機器所能執行之測試項目可能不同，可能有部分相同、也可能全部相同。
測試系統包含數個次要伺服器601、602以及一主伺服器300。次要伺服器601、602中每一次要伺服器分別對應該些雲端系統100、200中之一，例如次要伺服器601對應雲端系統100，次要伺服器602對應雲端系統200。每一次要伺服器與對應雲端系統之該些雲端伺服器建立連結，以控制其所虛擬出的該些測試虛擬機器。主伺服器300儲存一測試虛擬機器表。測試虛擬機器表記錄每一次要伺服器601、602所控制之測試虛擬機器之資訊。測試虛擬機器之資訊包含測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊。
以雲端技術為基礎之測試方法500包含以下步驟：在步驟510中，藉由主伺服器300自一客戶端401接收一測試指令，並產生對應的一測試環境條件。其中，測試指令係對一目標電子裝置403執行一目標測試項目。所產生之測試環境條件係指執行測試時，主伺服器300和次要伺服器、虛擬機器之間進行通訊或溝通的相關設定，例如傳送資料的格式、頻率、方式、使用系統等。
在步驟520中，主伺服器300根據測試指令和測試虛擬機器表，以決定執行目標測試項目之測試虛擬機器，進而取得用以控制執行之測試虛擬機器之次要伺服器之資訊。
在步驟530中，主伺服器300傳送測試指令及其對應的測試環境條件至控制執行之測試虛擬機器之次要伺服器。
於是，在步驟540中，控制執行之測試虛擬機器之次要伺服器依據測試環境條件，控制執行目標測試項目之測試虛擬機器，對目標電子裝置執行目標測試項目。
此外，在本發明之一實施例中，可在沒有足夠的目前虛擬機器執行測試時，在步驟520中更可釋放雲端資源，以新增測試虛擬機器之數量。藉由該主伺服器300判斷該些次要伺服器601、602所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量，而當不大於時，該些次要伺服器驅動所連結之該些雲端伺服器，釋放該雲端資源中一可釋放資源，並利用該可釋放資源新增複數個新增虛擬機器，作為新增的該些測試虛擬機器。
在本發明之另一實施例中，可在沒有足夠的目前虛擬機器執行測試時，在步驟520中更可藉由該主伺服器300判斷該些次要伺服器601、602所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量，而當不大於時，該些次要伺服器601、602利用該雲端資源中一可用資源新增複數個新增虛擬機器，作為新增的該些測試虛擬機器。
由於透過網際網路402進行測試時，與受測之目標電子裝置403之所在地點，將可能影響測試結果、測試所需時間、測試成本、測試穩定性或是安全性。因此，以雲端技術為基礎之測試方法500更可包含以下步驟：藉由該主伺服器301，依據雲端伺服器103、104、203、204之所在地點，以決定執行目標測試項目之測試虛擬機器。其中，雲端伺服器103、104、203、204之所在地點可以預先紀錄，或是依據雲端伺服器103、104、203、204之網際網路通訊協定位址來判斷。
此外，可在步驟540後，主伺服器300自控制執行目標測試項目之測試虛擬機器之次要伺服器，取得執行目標測試項目之測試虛擬機器，對目標電子裝置403執行目標測試項目之一測試結果，並將測試結果回傳至主伺服器300儲存並呈現於客戶端403。
以雲端技術為基礎之測試方法500更可包含以下步驟：由主伺服器300經由通訊連接次要伺服器601、602，以取得各次要伺服器601、602所控制之測試虛擬機器之資訊，予以紀錄並更新測試虛擬機器表所紀錄之測試虛擬機器之資訊。
以雲端技術為基礎之測試方法500更可包含以下步驟：主伺服器300更儲存客戶端401的歷史測試資料，根據該歷史測試資料，預估給客戶端401執行目前測試的測試虛擬機器數量，以作為測試虛擬機器啟用數量(activated virtual machine number)，進而決定執行該目標測試項目之測試虛擬機器。
雖然本發明已以實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100、200．．．雲端系統
103、104、203、204．．．雲端伺服器
300．．．主伺服器
310．．．儲存元件
320．．．處理元件
321．．．指令接收模組
322．．．決定模組
323．．．指令傳送模組
401．．．客戶端
402．．．網際網路
403．．．目標電子裝置
500．．．以雲端技術為基礎之測試方法
510～540．．．步驟
601、602．．．次要伺服器
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：
第1圖繪示依照本發明一實施方式的一種以雲端技術為基礎之測試系統之功能方塊圖。
第2圖係繪示依照本發明一實施方式的一種以雲端技術為基礎之測試方法之流程圖。
100、200．．．雲端系統
103、104、203、204．．．雲端伺服器
300．．．主伺服器
310．．．儲存元件
320．．．處理元件
321．．．指令接收模組
322．．．決定模組
323．．．指令傳送模組
401．．．客戶端
402．．．網際網路
403．．．目標電子裝置
601、602．．．次要伺服器

权利要求:
Claims (16)
[1] 一種以雲端技術為基礎之測試系統，應用複數個雲端系統進行測試，其中，每一雲端系統包含複數個雲端伺服器以提供一雲端資源，並藉由該雲端資源虛擬出複數個測試虛擬機器，且該測試系統包含：複數個次要伺服器，其中每一次要伺服器分別對應該些雲端系統中之一，且與對應雲端系統之該些雲端伺服器建立連結，以控制其所虛擬出的該些測試虛擬機器；以及一主伺服器，通訊連接該些次要伺服器，包含：一儲存元件，儲存一測試虛擬機器表，該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊，其中該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊；以及一處理元件，電性連接該儲存元件，其中該處理元件包含：一指令接收模組，用以接收一客戶端之一測試指令，並產生對應的一測試環境條件，其中該測試指令係對一目標電子裝置執行一目標測試項目；一決定模組，根據該測試指令和該測試虛擬機器表，以決定執行該目標測試項目之測試虛擬機器，進而取得控制該執行之測試虛擬機器之該次要伺服器資訊；以及一指令傳送模組，傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器，藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件，控制該些執行目標測試項目之測試虛擬機器，對該目標電子裝置執行該目標測試項目。
[2] 如請求項1所述之以雲端技術為基礎之測試系統，其中該決定模組更判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量，而當不大於時，該些次要伺服器驅動所連結之該些雲端伺服器，釋放該雲端資源中一可釋放資源，並利用該可釋放資源新增複數個新增虛擬機器，作為新增的該些測試虛擬機器。
[3] 如請求項1所述之以雲端技術為基礎之測試系統，其中該決定模組更判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量，而當不大於時，該些次要伺服器利用該雲端資源中一可用資源新增複數個新增虛擬機器，作為新增的該些測試虛擬機器。
[4] 如請求項2和請求項3二者其中之一所述之以雲端技術為基礎之測試系統，其中該主伺服器更包含：一範本資料庫，儲存複數筆預設測試指令之範本。
[5] 如請求項1所述之以雲端技術為基礎之測試系統，其中該決定模組更依據該些雲端伺服器之所在地點，以決定執行該目標測試項目之測試虛擬機器。
[6] 如請求項1所述之以雲端技術為基礎之測試系統，其中該處理元件更包含：一測試結果處理模組，自控制該執行之測試虛擬機器之該次要伺服器，取得執行該目標測試項目之測試虛擬機器對該目標電子裝置執行該目標測試項目之一測試結果，並將該測試結果回傳至該主伺服器並呈現於該客戶端。
[7] 如請求項1所述之以雲端技術為基礎之測試系統，其中該測試虛擬機器表所紀錄該些測試虛擬機器之資訊，係由該主伺服器經由通訊連接該些次要伺服器，以取得該些測試虛擬機器之資訊，予以紀錄並更新。
[8] 如請求項1所述之以雲端技術為基礎之測試系統，其中該儲存元件更儲存該測試系統的一歷史測試資料，且該決定模組更根據該歷史測試資料，計算該測試系統整體所需的虛擬測試機器數量，以作為該些次要伺服器所控制之測試虛擬機器的總數量。
[9] 一種以雲端技術為基礎之測試方法，應用一以雲端技術為基礎之測試系統以及複數個雲端系統進行測試，其中，每一雲端系統包含複數個雲端伺服器以提供一雲端資源，並藉由該雲端資源虛擬出複數個測試虛擬機器，且該測試系統包含複數個次要伺服器以及一主伺服器，該些次要伺服器中每一次要伺服器分別對應該些雲端系統中之一，與對應雲端系統之該些雲端伺服器建立連結，以控制其所虛擬出的該些測試虛擬機器，該主伺服器儲存一測試虛擬機器表，該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊，該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊，其中該以雲端技術為基礎之測試方法包含：藉由該主伺服器自一客戶端接收一測試指令，並產生對應的一測試環境條件，其中該測試指令係對一目標電子裝置執行一目標測試項目；使該主伺服器根據該測試指令和該測試虛擬機器表，以決定執行該目標測試項目之測試虛擬機器，進而取得控制該執行之測試虛擬機器之該次要伺服器資訊；以及使該主伺服器傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器，藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件，控制該些執行目標測試項目之測試虛擬機器，對該目標電子裝置執行該目標測試項目。
[10] 如請求項9所述之以雲端技術為基礎之測試方法，更包含：藉由該主伺服器判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量，而當不大於時，該些次要伺服器驅動所連結之該些雲端伺服器，釋放該雲端資源中一可釋放資源，並利用該可釋放資源新增複數個新增虛擬機器，作為新增的該些測試虛擬機器。
[11] 如請求項9所述之以雲端技術為基礎之測試方法，更包含：藉由該主伺服器判斷該些次要伺服器所控制之可執行該目標測試項目且其目前可執行測試之該些測試虛擬機器之數量是否大於該目標測試項目所需之數量，而當不大於時，該些次要伺服器利用該雲端資源中一可用資源新增複數個新增虛擬機器，作為新增的該些測試虛擬機器。
[12] 如請求項9所述之以雲端技術為基礎之測試方法，更包含：藉由該主伺服器依據該些雲端伺服器之所在地點，以決定執行該目標測試項目之測試虛擬機器。
[13] 如請求項9所述之以雲端技術為基礎之測試方法，更包含：藉由該主伺服器自控制該執行之測試虛擬機器之該次要伺服器，取得執行該目標測試項目之測試虛擬機器對該目標電子裝置執行該目標測試項目之一測試結果，並將該測試結果回傳至該主伺服器並呈現於該客戶端。
[14] 如請求項9所述之以雲端技術為基礎之測試方法，其中該測試虛擬機器表所紀錄該些測試虛擬機器之資訊，係由該主伺服器經由通訊連接該些次要伺服器，以取得該些測試虛擬機器之資訊，予以紀錄並更新。
[15] 如請求項9所述之以雲端技術為基礎之測試方法，其中該主伺服器更儲存該測試系統的歷史測試資料，以及根據該歷史測試資料，計算該測試系統整體所需的虛擬測試機器數量，以作為該些次要伺服器所控制之測試虛擬機器的總數量。
[16] 一種電腦可讀取記錄媒體，儲存一電腦程式，用以執行一種以雲端技術為基礎之測試方法，其中該測試方法應用一以雲端技術為基礎之測試系統以及複數個雲端系統進行測試，每一雲端系統包含複數個雲端伺服器以提供一雲端資源，並藉由該雲端資源虛擬出複數個測試虛擬機器，且該測試系統包含複數個次要伺服器以及一主伺服器，該些次要伺服器中每一次要伺服器分別對應該些雲端系統中之一，與對應雲端系統之該些雲端伺服器建立連結，以控制其所虛擬出的該些測試虛擬機器，該主伺服器儲存一測試虛擬機器表，該測試虛擬機器表記錄每一該些次要伺服器所控制之該些測試虛擬機器之資訊，該資訊包含該些測試虛擬機器可執行之測試項目及其目前是否可執行測試資訊，其中該以雲端技術為基礎之測試方法包含：藉由該主伺服器自一客戶端接收一測試指令，並產生對應的一測試環境條件，其中該測試指令係對一目標電子裝置執行一目標測試項目；使該主伺服器根據該測試指令和該測試虛擬機器表，以決定執行該目標測試項目之測試虛擬機器，進而取得取得控制該執行之測試虛擬機器之該次要伺服器資訊；以及使該主伺服器傳送該測試指令及其對應的該測試環境條件至控制該執行之測試虛擬機器之該次要伺服器，藉此使控制該執行之測試虛擬機器之該次要伺服器依據測試環境條件，控制該些執行目標測試項目之測試虛擬機器，對該目標電子裝置執行該目標測試項目。

类似技术:

公开号 | 公开日 | 专利标题

TWI476586B|2015-03-11|以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體

US9632914B2|2017-04-25|Error diagnostic in a production environment

US9921940B2|2018-03-20|Creating a software performance testing environment on a virtual machine system

US20180285053A1|2018-10-04|Screenshot method and apparatus

US8630836B2|2014-01-14|Predicting system performance and capacity using software module performance statistics

JP5954752B2|2016-07-20|システムのテストを行う装置、方法およびプログラム

CN103440111B|2016-08-10|虚拟机磁盘空间的扩展方法、宿主机和平台

US20200065202A1|2020-02-27|Modifying aspects of a storage system associated with data mirroring

US20120197624A1|2012-08-02|System and method for managing a storage array using simulation

KR101913346B1|2018-10-30|클라우드 환경에서의 클라우드 서버 관리 방법 및 장치

JP6283096B2|2018-02-21|プログラム試験サービス

WO2015049771A1|2015-04-09|コンピュータシステム

CN103186423B|2016-08-17|虚拟机迁移方法与云端伺服系统

WO2017016212A1|2017-02-02|桌面云系统的测试方法及装置

CN103425550A|2013-12-04|一种系统克隆方法和装置

CN106775954B|2020-08-18|Unix服务器仿真方法、系统及虚拟现实服务器

US9785539B2|2017-10-10|Application development via a multi-unit device

US8819174B2|2014-08-26|Information processing system, information processing method, and storage medium

KR20190103896A|2019-09-05|스마트 콘텐츠 테스트 방법 및 장치

KR101498700B1|2015-03-06|가상화시스템 환경에서의 스토리지 성능 테스팅장치

CN106502766A|2017-03-15|基于kvm的机架服务器仿真方法和系统

TWI453669B|2014-09-21|虛擬機器遷移方法與雲端伺服系統

US10795687B2|2020-10-06|Information processing system for setting hardware, method for setting hardware and non-transitory computer-readable storage medium recording program for setting hardware

KR20200092769A|2020-08-04|스마트 콘텐츠 제공 시스템 검증방법

WO2017193285A1|2017-11-16|软件管理方法及装置

同族专利:

公开号 | 公开日

US20130019242A1|2013-01-17|

US8719818B2|2014-05-06|

CN102880532A|2013-01-16|

CN102880532B|2015-11-25|

TWI476586B|2015-03-11|

引用文献:

公开号 | 申请日 | 公开日 | 申请人 | 专利标题

TWI627528B|2015-12-30|2018-06-21|Chunghwa Telecom Co Ltd|System and method applied to cloud virtual machine automated test environment deployment|US8082541B2|2004-12-09|2011-12-20|Advantest Corporation|Method and system for performing installation and configuration management of tester instrument modules|

CN101388805B|2007-09-13|2011-06-15|英业达股份有限公司|测试监控方法及系统|

CN101414930B|2007-10-16|2011-02-09|英业达股份有限公司|远程测试提示系统及方法|

US20090300423A1|2008-05-28|2009-12-03|James Michael Ferris|Systems and methods for software test management in cloud-based network|

US8949791B2|2009-07-08|2015-02-03|Vmware, Inc.|Distributed software testing using cloud computing resources|

US8122282B2|2010-03-12|2012-02-21|International Business Machines Corporation|Starting virtual instances within a cloud computing environment|

US8607203B1|2010-12-17|2013-12-10|Amazon Technologies, Inc.|Test automation framework using dependency injection|US10579507B1|2006-08-14|2020-03-03|Akamai Technologies, Inc.|Device cloud provisioning for functional testing of mobile applications|

US8819490B2|2011-12-30|2014-08-26|Microsoft Corporation|Test execution spanning cloud and local devices|

US9760928B1|2012-03-26|2017-09-12|Amazon Technologies, Inc.|Cloud resource marketplace for third-party capacity|

CN103853655A|2012-11-30|2014-06-11|英业达科技有限公司|于待测装置外部产生虚拟测试单元的测试系统及其方法|

KR102033999B1|2012-12-21|2019-10-21|삼성전자주식회사|컨텐트 중심 네트워크에서의 통신 방법 및 장치|

KR101540631B1|2012-12-28|2015-07-30|삼성에스디에스 주식회사|가상 클러스터의 동적 확장 시스템, 방법 및 그 프로그램이 저장된 기록매체|

US9444717B1|2013-02-28|2016-09-13|Amazon Technologies, Inc.|Test generation service|

US9436725B1|2013-02-28|2016-09-06|Amazon Technologies, Inc.|Live data center test framework|

US9396160B1|2013-02-28|2016-07-19|Amazon Technologies, Inc.|Automated test generation service|

US9785527B2|2013-03-27|2017-10-10|Ixia|Methods, systems, and computer readable media for emulating virtualization resources|

US9584364B2|2013-05-21|2017-02-28|Amazon Technologies, Inc.|Reporting performance capabilities of a computer resource service|

US9569205B1|2013-06-10|2017-02-14|Symantec Corporation|Systems and methods for remotely configuring applications|

GB2516986B|2013-08-06|2017-03-22|Barclays Bank Plc|Automated application test system|

US9246935B2|2013-10-14|2016-01-26|Intuit Inc.|Method and system for dynamic and comprehensive vulnerability management|

US9485207B2|2013-10-30|2016-11-01|Intel Corporation|Processing of messages using theme and modality criteria|

US9313281B1|2013-11-13|2016-04-12|Intuit Inc.|Method and system for creating and dynamically deploying resource specific discovery agents for determining the state of a cloud computing environment|

US9501345B1|2013-12-23|2016-11-22|Intuit Inc.|Method and system for creating enriched log data|

US9323926B2|2013-12-30|2016-04-26|Intuit Inc.|Method and system for intrusion and extrusion detection|

US9325726B2|2014-02-03|2016-04-26|Intuit Inc.|Method and system for virtual asset assisted extrusion and intrusion detection in a cloud computing environment|

US10757133B2|2014-02-21|2020-08-25|Intuit Inc.|Method and system for creating and deploying virtual assets|

US10313207B2|2014-03-10|2019-06-04|Sk Techx Co., Ltd.|Method for testing cloud streaming server, and apparatus and system therefor|

US20150269064A1|2014-03-21|2015-09-24|Intuit Inc.|Method and system for testing cloud based applications in a production environment using fabricated user data|

US9245117B2|2014-03-31|2016-01-26|Intuit Inc.|Method and system for comparing different versions of a cloud based application in a production environment using segregated backend systems|

US9276945B2|2014-04-07|2016-03-01|Intuit Inc.|Method and system for providing security aware applications|

US20150304343A1|2014-04-18|2015-10-22|Intuit Inc.|Method and system for providing self-monitoring, self-reporting, and self-repairing virtual assets in a cloud computing environment|

US9374389B2|2014-04-25|2016-06-21|Intuit Inc.|Method and system for ensuring an application conforms with security and regulatory controls prior to deployment|

US9900322B2|2014-04-30|2018-02-20|Intuit Inc.|Method and system for providing permissions management|

US9319415B2|2014-04-30|2016-04-19|Intuit Inc.|Method and system for providing reference architecture pattern-based permissions management|

US9330263B2|2014-05-27|2016-05-03|Intuit Inc.|Method and apparatus for automating the building of threat models for the public cloud|

US9866581B2|2014-06-30|2018-01-09|Intuit Inc.|Method and system for secure delivery of information to computing environments|

US9473481B2|2014-07-31|2016-10-18|Intuit Inc.|Method and system for providing a virtual asset perimeter|

US10102082B2|2014-07-31|2018-10-16|Intuit Inc.|Method and system for providing automated self-healing virtual assets|

US9734036B2|2014-08-13|2017-08-15|International Business Machines Corporation|Optimizing a cloud-computing environment|

CN105446872B|2014-08-29|2018-04-10|国际商业机器公司|测试移动应用的管理器、测试代理器及方法|

CN105511936B|2014-09-22|2020-04-24|北京奇虎科技有限公司|测试系统、方法和装置|

US9858174B2|2014-09-26|2018-01-02|Oracle International Corporation|Updatable native mobile application for testing new features|

US10073679B2|2014-09-26|2018-09-11|Oracle International Corporation|Efficient and intuitive databinding for mobile applications|

US9851968B2|2014-09-26|2017-12-26|Oracle International Corporation|High performant iOS template based application build system|

US9826045B2|2014-09-26|2017-11-21|Oracle International Corporation|Efficient means to test server generated applications on mobile device|

US10290133B2|2014-09-26|2019-05-14|Oracle International Corporation|High fidelity interactive screenshots for mobile applications|

US9953053B2|2014-12-18|2018-04-24|International Business Machines Corporation|Reliability improvement of distributed transaction processing optimizations based on connection status|

US11102313B2|2015-08-10|2021-08-24|Oracle International Corporation|Transactional autosave with local and remote lifecycles|

US10582001B2|2015-08-11|2020-03-03|Oracle International Corporation|Asynchronous pre-caching of synchronously loaded resources|

US10419514B2|2015-08-14|2019-09-17|Oracle International Corporation|Discovery of federated logins|

US10013668B2|2015-08-14|2018-07-03|Oracle International Corporation|Secure storage of enterprise certificates for cloud services|

US10452497B2|2015-08-14|2019-10-22|Oracle International Corporation|Restoration of UI state in transactional systems|

US10582012B2|2015-10-16|2020-03-03|Oracle International Corporation|Adaptive data transfer optimization|

US10025698B2|2015-11-16|2018-07-17|Cognizant Technology Solutions India Pvt. Ltd|System and method for efficiently predicting testing schedule and stability of applications|

US20180365138A1|2015-12-08|2018-12-20|Hewlett Packard Enterprise Development Lp|Cloud-based testing|

CN107025205B|2016-01-30|2021-06-22|华为技术有限公司|一种分布式系统中的训练模型的方法及设备|

US10341215B2|2016-04-06|2019-07-02|Keysight Technologies SingaporePte. Ltd.|Methods, systems, and computer readable media for emulating network traffic patterns on a virtual machine|

US10581820B2|2016-05-11|2020-03-03|Oracle International Corporation|Key generation and rollover|

US10341410B2|2016-05-11|2019-07-02|Oracle International Corporation|Security tokens for a multi-tenant identity and data security management cloud service|

US10425386B2|2016-05-11|2019-09-24|Oracle International Corporation|Policy enforcement point for a multi-tenant identity and data security management cloud service|

US10878079B2|2016-05-11|2020-12-29|Oracle International Corporation|Identity cloud service authorization model with dynamic roles and scopes|

US10454940B2|2016-05-11|2019-10-22|Oracle International Corporation|Identity cloud service authorization model|

US9838377B1|2016-05-11|2017-12-05|Oracle International Corporation|Task segregation in a multi-tenant identity and data security management cloud service|

US10263947B2|2016-08-05|2019-04-16|Oracle International Corporation|LDAP to SCIM proxy service|

US10721237B2|2016-08-05|2020-07-21|Oracle International Corporation|Hierarchical processing for a virtual directory system for LDAP to SCIM proxy service|

US10530578B2|2016-08-05|2020-01-07|Oracle International Corporation|Key store service|

US10585682B2|2016-08-05|2020-03-10|Oracle International Corporation|Tenant self-service troubleshooting for a multi-tenant identity and data security management cloud service|

US10516672B2|2016-08-05|2019-12-24|Oracle International Corporation|Service discovery for a multi-tenant identity and data security management cloud service|

US10255061B2|2016-08-05|2019-04-09|Oracle International Corporation|Zero down time upgrade for a multi-tenant identity and data security management cloud service|

US10735394B2|2016-08-05|2020-08-04|Oracle International Corporation|Caching framework for a multi-tenant identity and data security management cloud service|

US10484382B2|2016-08-31|2019-11-19|Oracle International Corporation|Data management for a multi-tenant identity cloud service|

US10846390B2|2016-09-14|2020-11-24|Oracle International Corporation|Single sign-on functionality for a multi-tenant identity and data security management cloud service|

US10511589B2|2016-09-14|2019-12-17|Oracle International Corporation|Single logout functionality for a multi-tenant identity and data security management cloud service|

US10594684B2|2016-09-14|2020-03-17|Oracle International Corporation|Generating derived credentials for a multi-tenant identity cloud service|

US10484243B2|2016-09-16|2019-11-19|Oracle International Corporation|Application management for a multi-tenant identity cloud service|

US10445395B2|2016-09-16|2019-10-15|Oracle International Corporation|Cookie based state propagation for a multi-tenant identity cloud service|

US10791087B2|2016-09-16|2020-09-29|Oracle International Corporation|SCIM to LDAP mapping using subtype attributes|

US10341354B2|2016-09-16|2019-07-02|Oracle International Corporation|Distributed high availability agent architecture|

US10567364B2|2016-09-16|2020-02-18|Oracle International Corporation|Preserving LDAP hierarchy in a SCIM directory using special marker groups|

US10616224B2|2016-09-16|2020-04-07|Oracle International Corporation|Tenant and service management for a multi-tenant identity and data security management cloud service|

US10904074B2|2016-09-17|2021-01-26|Oracle International Corporation|Composite event handler for a multi-tenant identity cloud service|

CN106484623A|2016-10-21|2017-03-08|郑州云海信息技术有限公司|一种软件测试的方法、装置及系统|

US10944643B2|2017-01-12|2021-03-09|Hitachi Vantara Llc|Cloud infrastructure voting|

US10120788B2|2017-01-23|2018-11-06|Accenture Global Solutions Limited|Cloud connected automated testing in multiple operating environments using multiple parallel test threads|

US10261836B2|2017-03-21|2019-04-16|Oracle International Corporation|Dynamic dispatching of workloads spanning heterogeneous services|

US10938687B2|2017-03-29|2021-03-02|Accenture Global Solutions Limited|Enabling device under test conferencing via a collaboration platform|

US10454915B2|2017-05-18|2019-10-22|Oracle International Corporation|User authentication using kerberos with identity cloud service|

US10348858B2|2017-09-15|2019-07-09|Oracle International Corporation|Dynamic message queues for a microservice based cloud service|

US20190095516A1|2017-09-27|2019-03-28|Oracle International Corporation|Reference attributes for related stored objects in a multi-tenant cloud service|

US20190098055A1|2017-09-28|2019-03-28|Oracle International Corporation|Rest-based declarative policy management|

US10705823B2|2017-09-29|2020-07-07|Oracle International Corporation|Application templates and upgrade framework for a multi-tenant identity cloud service|

WO2019089446A1|2017-10-30|2019-05-09|Hitachi Vantara Corporation|Generating testing infrastructure on a cloud for testing software applications|

US10572283B2|2017-11-16|2020-02-25|International Business Machines Corporation|Implementing requests on a model of a system prior to implementing on the system|

US10715564B2|2018-01-29|2020-07-14|Oracle International Corporation|Dynamic client registration for an identity cloud service|

CN108063832B|2018-02-06|2021-04-30|上海地面通信息网络股份有限公司|一种云存储系统及其存储方法|

US10931656B2|2018-03-27|2021-02-23|Oracle International Corporation|Cross-region trust for a multi-tenant identity cloud service|

US10798165B2|2018-04-02|2020-10-06|Oracle International Corporation|Tenant data comparison for a multi-tenant identity cloud service|

US11165634B2|2018-04-02|2021-11-02|Oracle International Corporation|Data replication conflict detection and resolution for a multi-tenant identity cloud service|

US10904281B2|2018-04-18|2021-01-26|Oracle International Corporation|Cloud-based security testing interface with security scanners|

CN108737162B|2018-04-20|2020-07-10|腾讯科技（深圳）有限公司|测试方法、测试系统及测试设备|

CN108733549A|2018-05-28|2018-11-02|厦门集微科技有限公司|一种弹性伸缩测试方法、装置和系统|

US11012444B2|2018-06-25|2021-05-18|Oracle International Corporation|Declarative third party identity provider integration for a multi-tenant identity cloud service|

US10764273B2|2018-06-28|2020-09-01|Oracle International Corporation|Session synchronization across multiple devices in an identity cloud service|

CN109086120A|2018-08-03|2018-12-25|北京奇虎科技有限公司|虚拟机资源的管理方法、装置及计算设备|

US10732869B2|2018-09-20|2020-08-04|Western Digital Technologies, Inc.|Customizing configuration of storage device for operational environment|

US11061929B2|2019-02-08|2021-07-13|Oracle International Corporation|Replication of resource type and schema metadata for a multi-tenant identity cloud service|

CN110417613A|2019-06-17|2019-11-05|平安科技（深圳）有限公司|基于Jmeter的分布式性能测试方法、装置、设备及存储介质|

CN110471815A|2019-06-28|2019-11-19|武汉迎风聚智科技有限公司|基于Driver组件的监听方法以及驱动器设备|

CN111193634B|2019-09-12|2021-08-31|腾讯科技（深圳）有限公司|一种压力测试方法、装置和计算机可读存储介质|

US11115502B1|2020-08-25|2021-09-07|Bank Of America Corporation|System for real-time management of session objects and for application programming interfacemocking|

CN112702225A|2020-12-10|2021-04-23|树根互联技术有限公司|云平台性能测试装置、方法、计算机终端和可读存储介质|

法律状态:

优先权:

申请号 | 申请日 | 专利标题

TW100124798A|TWI476586B|2011-07-13|2011-07-13|以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體|TW100124798A| TWI476586B|2011-07-13|2011-07-13|以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體|

CN201110234253.1A| CN102880532B|2011-07-13|2011-08-12|以云端技术为基础的测试系统与方法|

US13/278,259| US8719818B2|2011-07-13|2011-10-21|Cloud-based test system utilizing cloud systems that include cloud servers to simulate virtual test machines to test an electrical device|

[返回顶部]